[アップデート]OpenAIから新しいモデル「chatgpt-4o-latest」が公開されました!

[アップデート]OpenAIから新しいモデル「chatgpt-4o-latest」が公開されました!

OpenAIが最新の研究用モデル「chatgpt-4o-latest」をAPIで公開しました。このモデルは、ChatGPTのGPT-4oの最新バージョンに継続的に更新される動的モデルで、開発者や研究者がOpenAIの最新の研究を探索するために提供されています。実稼働環境では、API使用に最適化された古いGPTモデルの使用が推奨されています。
Clock Icon2024.08.15

こんにちは、@TakaakiKakei です。

日本時間8月14日頃に、OpenAIが提供する最新の研究用モデルの「chatgpt-4o-latest」がAPI公開されました。

https://x.com/OpenAIDevs/status/1823510395619000525

概要

「chatgpt-4o-latest」は、ChatGPTのGPT-4oの最新バージョンに継続的に更新される動的モデルです。このモデルは、開発者や研究者がOpenAIの最新の研究を探索できるように公開されています。実稼働環境での使用には、APIの使用に最適化された別GPTモデル(現在だと「gpt-4o-2024-08-06」など)の使用をOpenAIは推奨しています。

Dynamic model continuously updated to the current version of GPT-4o in ChatGPT. Intended for research and evaluation [2].

[2] We are releasing this model for developers and researchers to explore OpenAI's latest research. For production use, OpenAI recommends using dated GPT models, which are optimized for API usage.

https://platform.openai.com/docs/models/gpt-4o

実は8月8日頃には、ChatGPTアプリのGPT-4oモデルが、当該バージョンに更新されていたようです。

https://x.com/ChatGPTapp/status/1823109016223957387

やってみた

使い方は以下のようにmodelに"chatgpt-4o-latest"を指定してリクエストを送信するだけです。

from openai import OpenAI
client = OpenAI()

response = client.chat.completions.create(
  model="chatgpt-4o-latest",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is a LLM?"}
  ]
)

https://platform.openai.com/docs/guides/text-generation

クラスメソッド株式会社が提供する生成 AI 環境構築サービス「AI-Starter」でも、modelを追加するだけなので、すぐに対応することができました。社内本番環境にはリリース済みで、近日中にお客様環境にもリリース予定です。

CleanShot 2024-08-15 at 08.59.34@2x

CleanShot 2024-08-15 at 08.52.46@2x

ちなみにPlaygroundでも確認しましたが、画像は未対応のように見受けられました。

CleanShot 2024-08-15 at 12.09.11

考察など

LMSYSでの位置づけ

LMSYS Chatbot Arena Leaderboardは、生成AIモデルを比較できるサイトです。このサイトでは、最新の「chatgpt-4o-latest」もすでに追加されており、2024年8月15日時点での各カテゴリにおけるスコアは以下の通りです。

  • Overall #1
  • Math #2
  • Coding #1
  • Long Query #1
  • Japanese #3

CleanShot 2024-08-15 at 09.04.29@2x

このモデルはリリースされたばかりであるため、利用しながら、適切なユースケースを模索していきたいと考えています。

生成AIが間違えやすい質問

「9.9と9.11ではどちらが大きいですか?」という質問は、生成AIが誤りやすい例の一つです。以前の「gpt-4o-2024-05-13」では「9.9」と誤答していましたが、最新の「chatgpt-4o-latest」では「9.11」と正しく回答するように改善されています。(なお、「gpt-4o-mini-2024-07-18」や「gpt-4o-2024-08-06」でも同様の改善が見られていました。)

「Which is bigger, 9.11 or 9.9?」という質問は、生成AIが誤りやすい例の一つです。「chatgpt-4o-latest」では、英語で質問した場合、「9.9」と正しく回答されました。

CleanShot 2024-08-16 at 20.59.53@2x

なお、日本語だと引き続き誤答をしてしまうようです。

CleanShot 2024-08-18 at 09.12.16@2x

さいごに

ここ最近は、Xアカウント@iruletheworldmoさんがOpenAIに関する謎めいた発信をしており、話題を呼んでいました。筆者自身、当該アカウントの発信内容については、OpenAIが話題を集めるためのものかなと思っていましたが、発信内で言及されていた新しいモデルが公開されて、驚きました。

https://x.com/iruletheworldmo/status/1822364945226371306

今後もあくまで公式情報ベースで判断するのが重要かと思いますが、こういった謎めいた発信も、AI界隈を楽しめる要素の一つかもしれませんね。

それではまた!

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.